Vợ ông là bà Trương Tuyết Nhung, nguyên Trưởng phòng đào tạo, Học viện Báo chí và Tuyên truyền, người được dư luận nhắc đến sau vụ việc chiếc xe biển trắng 30F-462.75 tự động lật sang biển xanh 80B - 4329.[2] Tuy nhiên, chỉ sau 1 ngày, tất cả các bài viết về vụ việc này trên các báo Tuổi trẻ, Thanh niên, Lao động, Người lao động...đã được gỡ bỏ.
Con trai cả: Tô Tử Hà, Bí thư Đoàn Tổng Công ty Hàng không Việt Nam, Ủy viên Ban chấp hành Trung ương Đoàn.
Con gái út: Tô Linh Hương, sinh năm 1988, học ngành báo chí, được bầu làm Chủ tịch Hội đồng quản trị công ty cổ phần Vinaconex - PVC vào tháng 4 năm 2012[4], nhưng rút lui khỏi chức vụ này chỉ sau 2 tháng, hiện đang công tác tại Bộ Văn hóa Thể thao và Du lịch.[5]
